Centro Federal de Educação Tecnológica de Minas Gerais

"A partir da época 8 o modelo começa a dar overfitting, ou seja, começa a decorar padrões do conjunto de treino. Isso justifica a diminuição do loss (começa a acertar mais no treino) e o aumento do val_loss (perde a generalização e começa a errar). A afirmação da equipe está parcialmente correta: o modelo está pronto, mas não é pelo motivo dado, e sim porque o val_loss começou a subir, o que deixa claro que a época com os melhores pesos é a 8."

"As entradas numéricas devem ser normalizadas e as categóricas devem ser convertidas em numéricas, por exemplo, via One Hot ou Ordinal Encoding. O papel do backpropagation é de calcular o erro dos neurônios de trás pra frente, usando uma abordagem recursiva e programação dinâmica. Esse erro é utilizado para corrigir os pesos do modelo durante o treinamento."

"É essencial dividir a base em conjuntos de treino (ajuste dos pesos), teste (conjunto independente para validar o final) e validação (evitar overfitting no treino). Além disso, para avaliar o modelo é imprescindível utilizar várias métricas em conjunto: acurácia, precisão, recall e f1-score. Para reprodutibilidade, deve-se utilizar uma seed específica para geração de números randômicos (Ex: 42)."

"Para investigar, seria interessante fazer um teste de estresse do modelo com foto de peças no período noturno e matutino. Uma hipótese para o problema é de que, ao invés de aprender padrões de peças com defeito, o modelo esteja identificando os padrões de luzes nas fotos. Supondo que a noite tem mais peças defeituosas por motivos biológicos do corpo humano, o modelo pode ter aprendido que vale mais a pena mandar o alerta a noite (também pode ser causado por uma amostra ruim)."

"Para trabalhar com imagens, CNN é o melhor modelo, pois foi desenhado para isso. Usar MLP por exemplo iria explodir o número de parâmetros. Ao usar um modelo pré-treinado, o ideal é congelar o backbone nas primeiras épocas até que o modelo head se estabilize e, somente depois, descongelá-lo. Isso evita a destruição dos pesos pré-calculados e permite um ajuste fino ao final do modelo."

"Uma solução seria aumentar o número de imagens de peças à noite, por exemplo, tirando fotos à noite das peças produzidas de manhã ou aplicando filtros de imagem."

"O limiar fixado do modelo depende do contexto do problema, no caso de alarmes falsos, o ideal seria aumentar o limiar para evitá-los. É justamente esse ajuste contextual que define a calibração do modelo. Mas é importante destacar que essa decisão é um trade-off: aumentar o limiar aumenta a precisão e diminui o recall."

"A equipe deve avaliar se o custo é maior com alarmes falsos, cuja solução é aumentar o limiar, ou se um falso negativo (paciente que precisa de ajuda mas o alarme não toca) é mais custoso, cuja solução é diminuir o limiar."

"Uma das formas de monitorar o treinamento do modelo é usar um conjunto de validação, o qual irá auxiliar o engenheiro a tomar a decisão correta."

"O uso de embeddings estáticos vai limitar a busca a encontrar padrões léxicos na base. O uso de transformers permitiria a capacidade de generalização por similaridades semânticas."

"Um protocolo que soluciona esse problema é o RAG, pois ele avalia a proporção e o escore de consultas e decide se é suficiente para a LLM dar a resposta ou se há falta de informação na base."

"A busca híbrida combina a melhor parte das buscas lexical e semântica. Se o modelo encontrar uma correspondência direta, como um código, nome ou norma, a busca léxica toma a frente, caso contrário, a busca semântica e a generalização se impõem."

"A decisão do gestor é ruim, pois o documento de maior escore não é necessariamente o melhor. O correto seria utilizar um limiar de escore para o modelo caso não tenha evidência suficiente e outro para avaliar documentos com resultados menores que o primeiro."

"Uma das ideias seria pré computar algumas buscas e repostas. Assim, o modelo não entraria em conflito de normas antes de emitir seu resultado."

[Subitem deixado em branco pelo discente]